LLM应用全流程开发课件

Appearance

桌面端界面方案：Cherry-Studio与本地部署方案 ​

学习目标 ​

  • 了解桌面端LLM界面的特点与价值
  • 掌握Cherry-Studio的安装与使用方法
  • 学习如何在桌面端工具中接入DeepSeek模型
  • 比较桌面端与Web端解决方案的优缺点

桌面端LLM界面概述 ​

与基于Web的界面不同，桌面端LLM界面直接在本地计算机上运行，无需依赖浏览器。这类界面通常提供更好的本地资源利用、更高的隐私保障以及更快的响应速度，特别适合企业用户和对隐私有较高要求的场景。

桌面端界面的优势 ​

  1. 无需Web服务器：直接在本地运行，减少依赖
  2. 更高的隐私性：数据可完全在本地处理，无需通过网络传输
  3. 系统级集成：可与操作系统更深入集成，如快捷键、系统通知等
  4. 更稳定的性能：不受网络波动和浏览器限制影响
  5. 离线使用：部分功能可在无网络环境下使用

Cherry-Studio介绍 ​

Cherry-Studio是一款专为本地大语言模型设计的桌面应用，提供了优雅的用户界面和强大的功能集成。

核心特点 ​

  • 跨平台支持：兼容Windows、macOS和Linux系统
  • 本地模型集成：原生支持多种本地模型服务，如Ollama、LMStudio等
  • 多会话管理：同时维护多个独立的对话上下文
  • 文档阅读功能：内置PDF、Office等文档格式支持
  • 插件系统：支持功能扩展，如网络搜索、代码执行等
  • 多应用场景：提供预设模板，如聊天、翻译、代码生成等
  • 系统性能监控：实时显示GPU、CPU使用率及内存占用

安装与配置 ​

安装步骤 ​

  1. 从GitHub Releases页面下载适合您系统的安装包

  2. 安装应用：

    • Windows: 运行.exe安装文件
    • macOS: 打开.dmg文件并拖动到应用程序文件夹
    • Linux: 使用包管理器安装.deb或.rpm文件

  3. 首次启动配置：

    • 选择界面语言
    • 配置模型服务端（如Ollama服务地址）
    • 设置默认模型和参数

配置DeepSeek模型 ​

Cherry-Studio支持通过多种方式接入DeepSeek模型：

  1. 通过Ollama接入：

    # 确保Ollama已安装并运行
ollama pull deepseek-chat:latest

# 在Cherry-Studio中配置
模型服务: Ollama
服务地址: http://localhost:11434
模型名称: deepseek-chat:latest

  2. 通过OpenAI兼容API接入：

    模型服务: OpenAI
API URL: https://api.deepseek.com/v1 (或您的自定义API服务地址)
API Key: 您的DeepSeek API密钥
模型: deepseek-chat

实战案例：构建桌面知识助手 ​

下面我们将演示如何使用Cherry-Studio配合DeepSeek模型构建一个桌面端的个人知识助手。

步骤1：准备本地知识库 ​

  1. 收集并整理您需要的文档资料（PDF、Word、Markdown等）
  2. 在Cherry-Studio中创建新的知识库
  3. 导入准备好的文档资料
  4. 等待知识库索引完成

步骤2：创建专用助手配置 ​

  1. 在Cherry-Studio中创建新的助手配置

  2. 设置助手名称、描述和头像

  3. 配置系统提示词(System Prompt)：

    你是一个基于本地知识库的专业助手，擅长回答与导入文档相关的问题。
回答时，你应该：
1. 基于知识库中的内容提供准确信息
2. 清晰引用信息来源（文档名称和页码）
3. 当知识库中没有相关信息时，明确说明
4. 语言应简洁专业，避免不必要的客套话

  4. 关联之前创建的知识库

  5. 选择DeepSeek模型作为对话模型

步骤3：优化参数与测试 ​

  1. 调整模型参数：

    • 温度(Temperature): 0.3（保持输出的一致性）
    • 上下文长度: 根据文档复杂度设置
    • 相似度阈值: 0.75（平衡相关性和广度）

  2. 进行测试对话：

    • 提出与知识库内容相关的问题
    • 评估回答质量和引用准确性
    • 根据反馈调整参数

  3. 保存最佳配置模板以便日后使用

其他常见桌面端工具 ​

除了Cherry-Studio，还有其他几款流行的桌面端LLM界面工具：

LM Studio ​

LM Studio是一款功能强大的桌面应用，专注于本地模型的运行和管理：

  • 内置模型下载：提供模型库一键下载功能
  • 会话管理：支持多会话并导出历史记录
  • 插件系统：支持扩展功能
  • 模型量化工具：内置模型量化功能，优化性能
  • API服务：可作为OpenAI兼容API服务器供其他应用调用

GPT4All ​

GPT4All是一个轻量级的桌面界面，专为个人用户设计：

  • 极简设计：界面简洁，易于使用
  • 多模型支持：包含多种小型本地模型
  • 跨平台：支持主流操作系统
  • 资源占用低：适合配置较低的设备
  • 开源免费：完全开源且免费使用

Text Generation WebUI ​

虽然名称中包含"Web"，但Text Generation WebUI可以作为桌面应用运行：

  • 高度可定制：提供丰富的参数调整选项
  • 多模态支持：支持文本、图像输入输出
  • 多模型兼容：支持大多数开源模型
  • 高级功能：支持LoRA训练、模型合并等
  • 社区活跃：持续更新和功能扩展

桌面端与Web端解决方案对比 ​

特性桌面端Web端
安装复杂度需下载安装通常无需安装（Docker除外）
系统资源独占资源，性能稳定与浏览器共享资源
隐私保障较高，数据本地处理中等，数据可能经过网络传输
多设备使用每台设备需单独安装可通过网络访问同一实例
应用集成可与本地应用深度集成主要通过网页/API集成
更新维护需手动更新客户端服务端更新，用户无感知
多用户支持通常单用户设计易于实现多用户支持
资源占用相对较高较低（不包括模型服务器）

选择最佳解决方案的建议 ​

  1. 个人用户：

    • 单机使用：推荐桌面端（Cherry-Studio或LM Studio）
    • 多设备使用：推荐Web端（LobeChat或OpenWebUI）

  2. 小型团队：

    • 强隐私需求：桌面端+本地模型
    • 协作需求强：Web端+团队部署

  3. 企业用户：

    • 内网部署：Web端+内部API服务
    • 开发/测试：桌面端+本地模型
    • 生产环境：定制Web界面+高性能推理服务

小结 ​

桌面端界面为使用DeepSeek等大语言模型提供了另一种选择，尤其适合注重隐私和本地性能的场景。Cherry-Studio作为一款功能完善的桌面应用，提供了直观的界面和丰富的功能，可以轻松集成DeepSeek模型实现多种应用场景。

选择桌面端还是Web端解决方案，应根据具体需求、资源条件和使用场景综合考量。对于需要深度定制和企业级部署的用户，可能需要将两种方案结合使用，以获得最佳体验。

在下一章中，我们将讨论如何为生产环境部署高性能的推理服务，实现更高效的DeepSeek模型应用。